Vào ngày 20 tháng 7 năm 1944, một nhóm sĩ quan quân đội Đức — trong đó bao gồm một số thành viên cấp cao hàng đầu của quân đội — dẫn đầu bởi Claus von Stauffenberg đã cố gắng ám sát Hitler, nhưng không thành. Ngày hôm sau, Himmler thành lập một ủy ban đặc biệt, hơn 5.000 nghi phạm và những kẻ chống đối chế độ đã bị bắt. Hitler ra lệnh trả thù tàn bạo, kết quả là hơn 4.900 người đã bị xử tử.[152] Mặc dù Himmler cảm thấy bối rối vì thất bại trong việc ngăn chặn âm mưu, nhưng cách giải quyết sau đó đã làm tăng thêm uy tín và quyền lực của ông.[153][154]

Đại tướng Friedrich Fromm, tổng tư lệnh của Quân đội Dự bị (hay quân Thay thế) (Ersatzheer) và là cấp trên trực tiếp của Stauffenberg, là một trong những người có dính líu đến âm mưu. Hitler đã cách chức Fromm và chỉ định Himmler làm người thay thế. Ông bổ nhiệm Hans Jüttner, giám đốc Cơ quan Trung ương Lãnh đạo SS làm phụ tá của mình, và bắt đầu lấp đầy những chức vụ hàng đầu của Quân đội Thay thế bằng lính SS. Vào tháng 11 năm 1944 Himmler sáp nhập bộ phận tuyển mộ sĩ quan quân đội với cơ quan SS tương tự và vận động thành công về việc gia tăng hạn ngạch đối với những tân binh SS mới tuyển mộ.[155]

Vào thời điểm đó, Hitler đã bổ nhiệm Himmler làm Bộ trưởng Nội vụ và Đặc mệnh Toàn quyền Hành chính (Generalbevollmächtigter für die Verwaltung).[156] Vào tháng 8 năm 1944 Hitler ủy quyền cho Himmler tái cơ cấu tổ chức và quản lý Waffen-SS, quân đội, và lực lượng cảnh sát. Với tư cách người đứng đầu Quân đội Dự bị, Himmler giờ chịu trách nhiệm về các tù binh chiến tranh. Ông còn đồng thời phụ trách hệ thống hình sự Wehrmacht và chèo lái, định hướng sự phát triển của các lực lượng vũ trang Wehrmacht cho đến tháng 1 năm 1945.[157]